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摘 要 虚拟 现实 技术 通过 提供 视觉 、 听 觉 和 触觉 等 信息 为 用 户 创造 身 临 其 境 的 感知 体验 ， 其 中 触觉 反馈 面 
临 诸 多 技术 新 颈 使 得 虚拟 现实 中 的 自然 交互 受 限 。 基 于 多 感官 错觉 的 伪 触 觉 技 术 可 以 借助 其 他 通道 的 信息 强 
化 和 丰富 触觉 感受 ， 是 目前 虚拟 现实 环境 中 优化 触觉 体验 的 有 效 途 径 。 本 文 聚焦 于 和 触觉 中 最 重要 的 维度 之 一 
一 一 粗糙 度 ， 试 图 为 解决 虚拟 现实 中 和 触觉 反馈 的 受 限 问题 提供 新 思路 。 探 讨 了 粗糙 度 感 知 中 ,， 视 、 听 、 
觉 通道 整合 的 关系 , 分析 了 视觉 线索 (表面 纹理 密度 、 表 面 光 影 、 控 制 显示 比 ) 和 听觉 线索 (音调 /频率 、 

如 何 影响 触觉 粗糙 度 感 知 ， ee 最 后 ， ew 
技术 时 ,虚拟 现实 环境 中 视 、 听 、 触 觉 信息 在 呈现 效果 、 感 知 整 合 等 方面 与 真实 世界 相 比 可 能 存在 的 差异 ,， 提 
出 可 借鉴 的 改善 触觉 体验 的 适用 方法 和 未 来 待 研 究 的 方向 。 
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1 引言 et al., 2019a; Ujitoko et al., 2019b; Wang et al., 
2020)。 因 此 ， 相 较 于 目前 虚拟 现实 环境 中 丰富 的 
视听 信息 呈现 ， 良 好 的 触觉 反馈 仍然 有 所 缺乏 
(Bosman, 2018)。 

利用 多 感官 错觉 (Intersensory Illusiom) 来 弥补 
虚拟 现实 环境 中 缺乏 的 触觉 反馈 ， 可 能 是 缓解 上 
述 问题 的 途径 之 一 (Bosman, 2018)。 多 感官 错觉 是 


近年 来 ， 虚 拟 现 实 (Virtual Reality，VR) 技 术 
发 展 迅 速 ， 它 通过 头 戴 式 显 示 器 (Head Mounted 
Displayed, HMDS) 等 设备 为 用 户 提供 视觉 .听觉 和 
触觉 信息 ， 展 现 虚拟 现实 环境 (Virtual Reality 
Environment, VRE) (Lin et al., 2017), 创造 身 临 其 


席 的 用 户 体验 (Giinther et al., 2019)。 然而 ， 相 较 于 种 通过 个 通道 的 刺激 习 影响 或 引发 另 一 个 通 
市 场 上 各 种 虚拟 现实 的 视觉 和 听 沉 显示 技术 及 产道 感知 的 路 通道 错觉 现象 (Bizley et al, 2012)。 近 


品 的 成 功 商业 化 ,触觉 信息 苦 现 仍然 面临 着 巨大 。 年 来 在 虚拟 现实 环境 中 广泛 引起 人 们 关注 的 伪 角 
的 挑战 (Kang & Lee, 2018)。 现 有 的 触觉 反馈 设备 觉 反 馈 技 术 (Pesudo-Haptic Feedback Techniques) 


可 分 为 接地 式 、 手 持 式 和 可 穿戴 式 三 类 ， 这 些 设 (Aoyama et al., 2016; Bi et al., 2018; Kawabe, 2020; 
备 主要 有 以 下 一 些 问题 : 设备 不 够 轻巧 便携 或 不 Samad et al., 2019) 或 许 源 自 于 多 感官 错觉 这 一 理 
易 操 作 ; 设备 提供 触觉 感受 的 允 真 度 和 人 类 触觉 论 基础 。 伪 触觉 反馈 技术 由 Lecuyer 等 人 (2000) 
感知 还 相差 其 远 ; 现 有 设备 无 法 同时 提供 多 种 不 at 其 是 一 种 不 依赖 于 触觉 反馈 ， 而 通过 跨 感 
同 的 触觉 感受 ; 硬件 设备 开发 、 制 造价 格 高 , 难度 。 ” 觉 通道 (Crossmodal) 信 息 来 呈现 触觉 感知 的 技术 
大 (Bosman, 2018; Culbertson et al., 2018; Ujitoko (Kang & Lee, 2018; Ujitoko et al., 2019b)。 在 电脑 

界面 或 虚拟 现实 环境 中 ,可 以 通过 伪 触 觉 反馈 技 
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Matsumoto et al., 2016) 和 粗糙 度 (Ota et al., 2020; 
Sato et al., 2020; Ujitoko et al., 2019a) 等 触觉 感知 。 
基于 多 感官 错觉 的 伪 触 觉 反馈 技术 允许 用 户 更 自 
由 的 交互 ， 并 且 规 避 了 如 设备 使 用 疲劳 ， 硬 件 时 
间 和 空间 分 辩 率 低 等 问题 (Hirao et al., 2020)。 该 
技术 不 仅 能 有 效 帮 助 用 户 感知 虚拟 现实 环境 
(Hashimoto et al., 2018; Ramirez et al., 2018), 还 
可 以 提升 现 阶段 虚拟 技术 的 沉浸 感 (Kang & Lee, 
2018; Samad et al., 2019)。 总 的 来 说 ， 基 于 多 感官 


次 , 食品、 家具 、 织 物 、 汽 车 等 表面 的 粗糙 质感 
会 直接 影响 消费 者 对 于 产品 的 偏好 (Aktar et al., 
2017)， 因 此 ,用 户 对 产品 表面 纹理 的 感知 对 商业 
成 功 至 关 重 要 。 最 后 ， 聚 焦 于 触觉 的 粗糙 度 这 一 
维度 ， 也 有 助 于 更 细致 的 探讨 视听 线索 如 何 影响 
粗糙 度 感知 ， 明 确 可 以 操纵 的 视听 因素 。 综 上 所 
述 ， 本文 关注 虚拟 现实 环境 中 缺乏 良好 触觉 反馈 
这 一 问题 , 讨论 视觉 、 听 觉 同 触觉 在 粗糙 度 信息 
整合 中 的 关系 ,并 详细 探讨 、 分 类 视觉 和 听觉 中 


错觉 的 伪 触 觉 反馈 技术 可 能 是 当今 感知 错觉 在 界 
面 显示 技术 (Kawabe, 2020), 虚拟 信 息 显 示 技 术 中 
最 成 功 的 应 用 之 一 。 

应 用 伪 触 觉 反 馈 技 术 来 营造 良好 的 触觉 感受 ， 
依赖 于 操纵 非 触 觉 信息 创造 触觉 的 多 感官 错觉 。 
视觉 、 听 觉 和 触觉 是 人 类 识别 和 感知 环境 的 主要 
通道 , 但 在 虚拟 现实 环境 中 ， 则 更 依赖 于 视觉 和 
听觉 与 虚拟 对 象 进行 交互 (Ramirez et al., 2018). 
一 方面 ， 由 于 当下 技术 发 展 的 限制 , 触觉 信息 旦 
现存 在 诸多 局 限 性 ， 而 视觉 和 上 听觉 信息 更 容易 在 
虚拟 现实 环境 中 呈现 ; 另 一 方面 ,许多 研究 已 经 
证 明 ， 人 类 可 以 有 效 利 用 视觉 信息 来 感知 材料 的 
硬度 ,刚度 和 粗 烽 度 等 触觉 特性 ( 匡 森 ,2019; Bi 
etal., 2018; Paulun et al., 2017; Schmidt et al., 
2017)。 听 觉 和 触觉 在 感知 层面 上 非常 相似 
(Bosman，2018)， 因 为 触摸 物体 产生 的 振动 和 声 
音信 息 都 是 波 信 号 ， 它 们 共享 频率 和 振幅 等 物理 
竺 性 ， 这 使 得 它们 在 强度 、 频 率 /速度 和 粗糙 度 / 纹 
理 等 属性 上 产生 映射 (Hoggan & Brewster, 2007). 2% 
上 所 述 , 在 虚拟 现实 环境 下 ,通过 操纵 视觉 和 听 
觉 信息 来 诱发 触觉 感知 是 非常 有 潜力 的 。 然 而 ， 
前 人 研究 并 未 明确 视觉 和 听觉 中 影响 触觉 感知 的 
因素 是 什么 ,因此 有 必要 探讨 和 明确 视听 线索 中 
影响 触觉 感知 的 因素 ， 并 通过 操纵 相关 的 视听 觉 
因素 在 虚拟 现实 环境 中 营造 更 加 真实 和 丰富 的 触 
觉 体验 。 
而 在 触觉 的 多 个 不 同感 受 维度 上 ， 本文 聚焦 
于 粗糙 度 这 一 维度 ， 主 要 有 以 下 原因 : 首先， 从 感 
知 层面 上 来 说 , 在 触觉 感知 研究 领域 中 ， 有 大 量 
研究 聚焦 于 对 纹理 粗糙 度 感知 的 探究 区 latzky & 
Lederman，2010)。 表 面 粗 糙 度 的 感知 是 纹理 触觉 
定义 中 的 一 个 重要 维度 ,在 一 定 条 件 下 ,粗糙 度 
其 至 可 以 作为 触觉 感知 的 量度 (Okamoto et al., 
2013; Ujitoko et al., 2019a; Wang et al., 2020), F 
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影响 粗糙 度 感知 的 因素 。 
2 视觉 、 听 觉 和 触觉 的 粗糙 度 信息 整合 


或 许 人 们 普遍 认为 ， 触 觉 在 材料 表面 粗糙 度 
的 感知 中 占据 了 绝对 优势 , 但 是 相关 人 研究 表明 ， 
除了 触觉 以 外 ,视觉 和 听觉 信息 也 在 粗糙 度 感知 
中 发 挥 了 作用 。 正 如 Weisenberger 和 Poling (2004) 
所 说 :“ 人 们 对 于 物体 表面 纹理 粗糙 度 的 感知 是 一 
个 对 视觉 、 听 觉 和 触觉 信息 进行 整合 的 过 程 。” 
既然 如 此 ， 人 类 在 粗 烟 度 的 感知 中 多 大 程度 的 利 
了 视觉 和 听觉 信息 呢 ? 

Ernst 和 Banks (2002) 指 出 , 在 视觉 和 触觉 信 
息 整合 的 过 程 中 ,噪音 更 少 ,信息 更 为 可 靠 的 通 
道 将 占有 较 高 的 权重 。Ledrman (1981) 表 明 , 视觉 
通道 能 频繁 的 获取 、 使 用 材料 表面 纹理 的 信息 ， 
因此 在 粗糙 度 感知 方面 , 视觉 信息 具有 很 高 的 可 
靠 性 。Jones 和 O’Neil (1985) 发 现 ， 视觉 单 通道 条 
件 下 的 粗 烽 度 匹 配 准确 性 不 逊 于 触觉 单 通道 的 准 
确 性 , 其 至 更 好 。 这些 结 果 均 说 明 , 视觉 信息 可 能 
因为 其 较 高 的 可 靠 性 而 在 粗糙 度 的 信息 整合 中 占 
据 不 小 权重 。 此 外 , 模 态 适当 性 假设 表明 ， 当 对 事 
物 特定 维度 的 感知 更 适合 通过 某 一 通道 完成 时 ， 
这 一 通道 会 在 感知 判断 中 占据 最 大 权重 
(Weisenberger & Poling, 2004), Lederman 等 人 
(1986) 指 出 ， 在 人 类 感受 材料 的 粗糙 度 时 ， 会 依 
据 任 务 类 型 的 不 同 而 依赖 不 同 的 感觉 通道 : 当 被 
试 的 任务 是 判断 表面 纹理 的 空间 密度 时 ， 会 更 依 
赖 于 视觉 线索 ; 而 当 被 试 的 任务 是 判断 表面 的 粗 
糙 程 度 时 ， 则 更 依赖 于 触觉 线索 。 该 研究 结果 似 
乎 说 明 视 觉 通 道 不 那么 适合 粗糙 度 感知 的 任务 ， 
但 Lederman 等 人 (2003) 解 释 : 该 研究 结果 说 明 被 
试 虽然 可 以 理解 “空间 密度 ”和 “粗糙 度 ” 的 差异 ， 
但 在 日 常生 活 中 感知 材料 表面 的 粗糙 度 时 ， 他 们 
则 会 将 材料 表面 纹理 的 “空间 密度 ”这 一 视觉 信息 
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作为 粗糙 度 的 感知 线索 ,这 表明 视觉 通道 也 适合 
粗糙 度 感知 任务 。 
上 述 研究 虽然 说 明了 视觉 通道 在 粗糙 度 感知 
层面 具有 较 高 的 可 靠 性 ， 具 备 执行 粗糙 度 感知 任 
务 的 能 力 ， 但 并 未 清晰 指出 视觉 在 多 通道 的 粗糙 
度 知觉 中 占有 多 少 权 重 。Lederman F Abbott (1981) 
的 研究 则 量化 分 析 了 视觉 在 多 通道 粗糙 度 知 觉 评 
估 中 的 权重 。 在 他 的 实验 中 ,被 试 需要 在 视觉 ， 触 
觉 单 通道 和 视 触 双 通 道 条 件 下 对 材料 的 粗糙 度 进 
行 匹 配 ， 因 此 可 以 得 到 三 种 条 件 下 的 粗糙 度 估 计 
值 。 此 时 使 用 下 式 ， 就 可 以 计算 出 视觉 和 触觉 信 
息 在 双 通 道 知 觉 任务 中 所 占 的 权重 。 
%visual influence = 
Mean(T+ Vstandard) — Mean(T standard) 
Mean(Vstandard) — Mean(T standard) 
Y%tactual influence = 
Mean(Vstandard) — Mean(T+ V standard) 
Mean(Vstandard) — Mean(T standard) 
HE: 式 中 Mean (Modality standard) 指 的 是 在 一 个 
标准 刺激 的 通道 下 ,做 出 的 与 标准 刺激 匹配 的 粗 
糙 度 的 均值 。 实 验 中 触觉 的 标准 刺激 是 60 目的 砂 
纸 ， 视 觉 的 标准 刺激 是 150 目的 砂纸 ， 双 通道 的 
标准 刺激 是 60 目的 砂纸 作为 触觉 体验 , 而 150 A 
的 砂纸 作为 视觉 体验 。 例 如 , Mean (T standard) 即 为 
被 试 使 用 60 目的 砂纸 作为 标准 刺激 时 ， 从 40, 50, 
60, 80, 100, 120, 150, 180, 220 目 砂 纸 中 所 选择 来 
匹配 标准 刺激 的 砂纸 粗糙 度 的 均值 。 值 得 注意 的 
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听 触 双 通 道 粗 糙 度 信息 整合 中 几乎 不 起 显著 的 作 
用 (Lederman，1979)。 但 Lederman 等 人 (1999) 和 
Altinsoy (2008) 两 位 学 者 的 研究 表明 , 一旦 声音 的 
响 度 提高 ， 被 试 就 可 以 有 效 的 将 听觉 信息 纳入 粗 
BEERA H, 并且 利用 上 述 范式 ， 计 算出 听觉 信 
息 在 听 触 双 通 道 粗 糙 度 感知 中 的 占 比 : Lederman 
等 人 (1999) 的 实验 结果 是 听觉 占 38% (触觉 占 62%), 
Altinsoy (2008) 的 实验 结果 是 听觉 占 40% (触觉 占 
60%)。 

总 的 来 说 ,视觉 和 听觉 信息 在 多 通道 的 粗糙 
度 信息 整合 过 程 中 都 占有 不 小 的 权重 ,其 中 视觉 
信息 甚至 有 可 以 匹 及 触觉 信息 的 重要 作用 ， 而 听 
觉 信息 在 有 效 被 人 类 获得 时 也 有 着 不 可 忽视 的 作 
用 。 正 如 上 文中 提 到 的 , 视觉 信息 能 占据 如 此 权 
重 的 原因 可 能 是 因为 视觉 和 触觉 一 样 ， 都 可 以 频 
繁 地 获得 和 使 用 关于 纹理 的 信息 ， 因 此 对 于 粗糙 
度 感知 任务 来 说 ， 这 两 个 通道 的 信息 都 具有 可 靠 
性 (Ledrman, 1981)。 相 比 之 下 ,听觉 信息 因为 其 容 
易 被 环境 噪声 掩蔽 的 特点 ， 不 如 触觉 通道 的 信 ， 
可 靠 。 但 并 不 能 说 听觉 信息 在 多 通道 的 粗糙 度 1 
息 整 合 中 就 毫 无 作用 。 前 人 的 研究 已 经 证 实 ， 
微 增加 听觉 线索 的 响 度 就 可 以 大 大 提高 听觉 信息 
在 多 通道 粗糙 度 知 觉 中 的 权重 (Altinsoy，2008; 
Lederman et al., 1999)。 视 觉 和 听觉 信息 对 于 粗糙 
度 的 感知 都 颇 为 重要 ,而 人 类 究竟 利用 了 视觉 和 
听觉 信息 中 哪些 线索 来 感知 材料 的 粗糙 程度 呢 ? 
在 缺乏 良好 触觉 反馈 的 虚拟 现实 环境 中 ,探讨 这 
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是 ， 双 通道 条 件 下 的 粗糙 度 知 觉 总 在 两 个 单 通道 
的 匹配 值 之 间 ， 因 此 在 笔者 看 来 Mean (V standard) 
-Mean (T standard) 即 为 双 通 道 条 件 下 粗糙 度 评估 
值 的 区 间 ， 而 式 中 分 子 部 分 则 表示 的 是 双 通 道 条 
件 下 粗糙 度 评 估 值 向 单 通道 偏 移 的 部 分 ， 即 单 通 
道 的 影响 力 。 
通过 上 述 方 法 , Lederman 和 Abbott (1981) 计 
算出 在 视 触 双 通 道 粗糙 度 感知 中 ,视觉 信息 的 平 
均 比 例 为 49.3%,， 触觉 信息 的 平均 比例 为 50.7%。 
这 一 结果 同 前 人 推测 视觉 通道 在 粗糙 度 感 知 任务 
中 有 重要 影响 的 结论 相 吻 合 ， 说 明 被 试 在 视 触 双 
通道 的 粗糙 度 信 息 整 合 过 程 中 ,倾向 于 对 表面 纹 
理 相关 的 视觉 和 触觉 信息 进行 同等 的 加 权 。 

这 一 范式 也 被 用 来 研究 听觉 和 触觉 多 通道 粗 
糙 度 信息 整合 的 权重 问题 。 虽 然 在 早期 ， 人 们 认 
为 听觉 信息 容易 被 环境 中 的 噪声 所 掩蔽 ， 因 此 在 


问题 有 助 于 更 好 的 利用 和 调控 视听 通道 中 影响 
粗糙 度 感知 的 线索 ,通过 呈现 视听 通道 的 信息 ， 
改善 人 类 对 于 材料 表面 粗糙 度 的 感知 。 


3 视觉 线索 和 粗糙 度 知 觉 


早期 的 一 些 研 究 表 明 , 被 试 可 以 仅 任 视觉 线 
索 有 效 分 辨 不 同 粗糙 程度 的 表面 (Jones & O’Neil, 
1985; Lederman & Abbott, 1981)。 至 今 为 止 , 学 者 
们 已 对 视觉 中 影响 粗糙 度 感 知 的 因素 做 了 进一步 
的 研究 。 本 章 把 这 些 因 素 分 为 静态 线索 (表面 纹理 
密度 .表面 光影 ) 和 动态 线索 , 将 在 下 文中 详细 介绍 。 
3.1 静态 线索 
3.1.1 ”表面 纹理 密度 

现实 生活 中 的 表面 纹理 大 多 是 非 线 性 和 随机 
特征 的 , 为 了 减少 分 析 的 困难 ,增加 对 条 件 的 控 
制 ， 大 多 早期 对 粗糙 度 感 知 的 心理 物理 学 研究 都 
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集中 于 两 类 被 简化 的 粗糙 度 刺激 : 凸 起 圆 点 表面 
(如 砂纸 等 ) 和 挖 槽 表面 (如 留声机 的 蚀刻 板 等 ) 
(Altinsoy, 2008)。 对 于 凸 起 圆 点 表面 而 言 ， 圆 点 的 
间距 和 半径 是 影响 粗糙 度 感知 的 主要 因素 ( 吴 森 ， 
2019)。 研 究 者 通常 改变 圆 点 间距 使 得 材料 表面 呈 
现 出 不 同 的 纹理 密度 。 随 着 圆 点 间距 减 小 即 表 
面 密度 增加 ， 被 试 也 越发 感知 材料 表面 粗糙 度 上 
升 。 以 砂纸 为 实验 材料 的 粗糙 度 感知 研究 也 可 以 
说 明 圆 点 颗粒 半径 和 颗粒 间距 对 粗糙 度 感 知 的 影 
响 : 随 着 砂纸 颗粒 半径 增 大 ,颗粒 间距 减 小 ,被 试 
在 视觉 单 通道 、 触 觉 单 通 道 、 视 触 双 通 道 条 件 下 
都 觉得 砂纸 变 得 更 为 粗糙 (Jones & O'Neil，1985; 
Lederman & Abbott, 1981)。 挖 槽 表面 这 类 材料 上 
光栅 的 周期 和 振幅 是 影响 粗糙 度 感知 的 因素 
(Wall & Harwin, 2001)。 随 着 光栅 周期 增 大 ， 视 觉 、 
触觉 和 视 触 双 通 道 条 件 下 的 粗糙 度 感 知 差别 阔 限 
都 随 之 升 高 ; 随 着 光栅 振幅 增加 ， 上 述 三 个 条 件 
的 粗糙 度 感 知 差别 阀 限 则 随 之 降低 (Poling et al., 
2003)。 

总 的 来 说 , 不论 是 凸 起 圆 点 表面 的 圆 点 直 
径 、 圆 点 间距 ,还 是 挖 覃 表面 光栅 周期 的 变化 , 在 
视觉 上 都 表现 为 纹理 密度 的 改变 。 当 圆 点 直径 增 
大 ,间距 减 小 , 或 是 光栅 周期 减 小 ， 对 被 试 来 说 
都 表现 为 视觉 上 材料 表面 纹理 密度 的 增加 ， 被 试 
对 材料 粗糙 度 的 感知 也 随 之 升 高 。 视 觉 信息 在 视 
触 双 通 道 的 粗糙 度 感知 中 举足轻重 (Etzi et al., 
2018; Jones & O’Neil, 1985; Lederman & Abbott, 
1981)， 因 此 前 人 研究 结果 的 得 出 ， 对 于 触觉 反馈 
设备 的 设计 创新 将 大 有 神 益 。 
3.1.2 ”表面 光影 

在 视觉 层面 ,物体 表面 的 纹理 结构 是 日 常生 
活 中 最 容易 关注 到 的 纹理 线索 , 但 将 物体 置 于 外 
界 坏 境 中 时 ,环境 中 的 光线 ,物体 表面 对 光线 的 
镜面 反射 又 为 其 带 来 了 新 的 粗糙 度 感知 线索 
(Honson et al., 2020)。Ho 等 人 (2006) 指 出 ， 当 物体 
表面 人 射 光 的 角度 不 断 减 小 时 ,物体 表面 将 产生 
更 多 的 阴影 ， 这 会 使 得 物体 显得 更 加 粗糙 。 照 明 
方向 的 变化 会 产生 新 的 纹理 线索 (Ho et al., 2007): 
阴影 在 表面 的 比例 ; 非 阴 影 部 分 的 平均 亮度 ; 非 
阴影 部 分 亮度 的 标准 差 ; 纹理 对 比 (用 亮度 的 第 
95 个 百 分 位 数 和 第 5 个 百 分 位 数 除 以 中 值 亮 度 的 
差 值 来 计算 , 是 表征 不 同 光照 条 件 下 材料 特性 的 
统计 量 )。 尽管 这 些 线索 有 时 不 能 准确 表明 材料 的 


粗糙 程度 ,但 人 们 仍然 会 利用 这 些 “ 伪 视觉 线索 ” 
来 判断 表面 粗糙 度 (Ho et al., 2007)。 除 此 之 外 ， 人 
们 也 常 利 用 物体 表面 的 光泽 度 来 判断 其 粗糙 程 
度 。 因 为 当 物 体 表面 越 光 滑 时 ,平行 光线 射 人 表 
H, 反射 光线 趋 近 平行 , 趋 近 镜 面 反 射 ， 光 泽 度 
高 ; 而 当 物 体 表 面 越 粗 糙 ( 凹 凸 不 平 )， 平 行 光线 
射 人 表面 ， 反 射 光 线 射 向 各 个 方向 ， 趋 近 于 漫 反 
射 ， 光 泽 度 低 。 目 前 研究 主要 聚焦 于 金属 材料 的 
粗糙 度 判 断 ， 实验 发 现 ,金属 表面 光泽 度 越 低 ， 
人 们 觉得 其 越 粗糙 (Todd & Norman, 2018)。Adams 
等 人 (2016) 通 过 控制 物体 的 镜面 反射 性 探究 了 物 
体 光 泽 度 和 表面 粗糙 度 的 关系 ,实验 表明 ， 即 使 
在 视觉 上 被 试 很 容易 识别 出 光泽 度 的 增加 ,但 当 
标准 刺激 和 一 个 实际 更 粗 烟 但 是 视觉 上 更 有 光泽 
度 的 刺激 物 做 比较 时 ,被 试 则 难以 凭借 视觉 和 和 
觉 信息 分 辨 哪个 更 粗糙 。 至 于 其 他 材料 ， 光 泽 度 
也 会 影响 被 试 对 材料 表面 粗糙 度 的 判断 ， 其 至 
为 光泽 度 的 相似 , 将 粗 烟 度 完全 不 同 的 材料 混淆 
(Vardar et al., 2019)。 表 面 光 影 这 一 视觉 的 粗糙 度 
线索 ， 从 环境 光照 以 及 材料 的 反光 特性 这 两 个 角 
度 , 丰富 了 虚拟 现实 环境 中 静态 物体 粗糙 度 的 表 
现形 式 。 虚 拟 现实 环境 中 光源 设置 灵活 ， 定 向 光 
源 、 点 光源 等 光照 下 ， 物 体 表 面 粗糙 度 将 有 不 同 
表现 。 而 如 何 将 环境 光源 和 物体 光泽 度 泻 染 结合 
起 来 更 好 的 展现 材料 粗糙 度 ， 还 需 在 未 来 继续 探 
究 。 此 外 , 在 虚拟 现实 环境 中 增加 材料 表面 光泽 
度 以 减 小 其 粗糙 程度 时 ， 还 应 注意 保留 材料 原本 
的 特性 。 

3.2 ”动态 线索 

表面 纹理 结构 和 表面 光影 都 属于 静态 的 视觉 
线索 ,而 在 虚拟 现实 环境 中 ,还 可 以 给 物体 添加 
动态 视觉 线索 以 改变 人 类 对 其 粗糙 度 的 感知 。 操 
纵 控制 显示 比 (Control Display Rate, CDR) 就 是 最 
常用 的 方式 之 一 。CDR 是 人 机 交互 (Computer 
Human Interaction, CHD) 领 域 中 一 个 著名 的 无 单位 
参数 (Lécuyer et al., 2000), 它 将 定点 设备 的 移动 
映射 到 显示 器 上 指针 的 移动 。 当 CDR 比 为 1.0 时 ， 
指针 的 移动 速度 与 控制 装置 完全 相同 。 当 CDR 比 
大 于 1.0 时 ,与 控制 装置 相 比 ， 指 针 以 更 慢 的 速度 
移动 。 当 CDR 比 小 于 1.0 时 ,指针 移动 较 快 ， 覆 
盖 的 距离 大 于 控制 设备 (Hashimoto et al., 2018)。 
Lécuyer 等 人 (2000) 的 实验 就 通过 设置 CDR 值 在 
屏幕 中 创建 了 一 块 灰 色 区 域 ， 当 被 试 通过 移动 光 
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标 控制 屏幕 中 虚拟 方块 移动 到 至 灰色 区 域 时 , 物 
块 会 表现 出 明显 的 运动 速度 减缓 ,被 试 则 会 显著 
感受 到 这 块 灰色 区 域 的 摩擦 阻力 更 大 。Hannig 和 
Deml (2008) 的 实验 也 控制 了 CDR 探究 在 虚拟 现 
实 环境 中 视觉 动 效 和 粗糙 度 感知 的 关系 。 在 虚拟 
现实 环境 中 ， 人 手 运动 和 显示 器 中 虚拟 手 的 运动 
比率 通常 是 相等 的 ( 即 CDR = 1), 而 在 这 个 实验 中 ， 
触摸 作为 比较 刺激 的 虚拟 物 块 时 会 触发 相应 的 
CDR 变化 ,， 表现 为 虚拟 手 运 动 的 更 快 或 更 慢 ; 触 
摸 标准 刺激 时 ， 虚 拟 手 运动 速度 不 变 (CDR = 1)。 
研究 结果 表明 ，CDR 的 变化 显著 影响 了 被 试 对 虚 
拟 物体 表面 粗糙 度 的 判断 ， 在 虚拟 现实 环境 中 ， 
CDR > 1 (虚拟 手 减速 ) 代 表 粗 烟 的 表面 , CDR < 1 
(虚拟 手 加 速 ) 则 代表 光滑 的 表面 。Sato 等 人 (2020) 
通过 设置 CDR 操纵 虚拟 手 触摸 物体 时 的 运动 速 


外 的 动力 ， 在 这 样 的 地 面 上 运动 物体 的 速度 显然 
会 越 来 越 慢 。 前 人 研究 中 指针 的 低速 和 粘连 的 运 
动 规律 便 是 利用 了 这 一 点 (Lécuyer et al., 2000; 
Hannig & Deml, 2008; Ujitoko et al., 2019a), 而 
Ujitoko 等 人 (2019a) 和 Ota 等 人 (2020) 的 研究 将 指 
针 在 视觉 上 的 振动 和 粗糙 度 感知 联系 了 起 来 ， 这 
令 人 眼前 一 亮 。 虽 然 这 也 是 自然 物理 规律 的 一 部 
分 , 但 他 们 超出 了 对 视觉 线索 运动 速度 的 控制 ， 
而 是 改变 了 视觉 线索 的 运动 规律 。 应 用 这 种 将 真 
实 的 物理 规律 巧妙 的 嵌入 虚拟 世界 的 方法 ， 或 许 
能 给 予 虚拟 现实 环境 的 探索 者 更 真实 和 丰富 的 感 
官 体 验 。 


4 上 听觉 线索 和 粗糙 度 知觉 


Lederman (1979) 一 项 关于 听觉 和 触觉 线索 对 


E, 在 混合 现实 环境 中 进行 了 类 似 的 实验 。 研 究 
结果 表明 当 竹 部 运动 更 快 时 , 被 试 对 物体 会 有 更 
光滑 的 感知 ， 而 手 部 运动 速度 慢 时 则 会 感觉 物体 
BEA ABE 

除了 通过 设置 CDR 值 来 控制 指针 (光标 或 是 
虚拟 手 ) 运 动 的 速度 ， 还 有 一 些 学 者 赋予 指针 以 特 
殊 的 运动 方式 来 表现 虚拟 物体 的 粗糙 度 。 在 
Ujitoko 等 人 (2019a) 的 一 项 研究 中 ， 当 被 试用 手写 
笔 在 设备 表面 滑动 时 ,他 们 会 看 到 指针 略微 卡 顿 
FRERET — iE, 表现 的 比 真 实 笔尖 移动 滞后 ， 
而 这 样 的 一 种 方式 也 显著 让 被 试 感受 到 了 虚拟 界 
面 的 粗糙 质感 。 此 外 , Ujitoko 等 人 (2019b) 还 使 得 
指针 闸 动 给 被 试 带 来 虚拟 表面 的 粗糙 感 。 在 他 的 
实验 中 , 被 试 通过 电子 笔 在 屏幕 上 写字 ， 当 光标 
在 书写 同时 表现 出 振动 ,被 试 会 认为 虚拟 表面 更 
加 粗 炸 。 且 随 着 视觉 上 这 种 振动 的 增 大 ,被 试 对 
虚拟 表面 粗糙 度 的 感知 也 增强 。Ota 等 人 (2020) 
还 将 这 种 振动 的 方式 扩展 到 了 手指 与 虚拟 表面 的 
交互 : 被 试用 手指 触摸 实验 材料 ， 观 察 到 界面 | 
指针 不 断 振动 ， 同 时 评估 材料 的 粗糙 度 。 结 果 于 
明 视 觉 线索 的 振动 可 以 显著 改变 被 试 对 真实 纹理 
表面 的 粗糙 度 感知 。 

总 的 来 说 , 不 论 是 设置 CDR 值 以 控制 指针 的 
相对 运动 速度 ， 还 是 赋予 指针 特殊 的 运动 规律 来 
表现 虚拟 物体 的 粗糙 度 ， 都 是 将 自然 界 中 一 个 物 
体 和 另 一 个 粗糙 物体 交互 时 发 生 的 运动 规律 在 虚 
拟 现实 环境 中 表现 出 来 的 方法 。 在 自然 界 中 , 粗 
糙 的 地 面 往往 会 有 更 大 的 摩擦 阻力 ， 如 果 没 有 额 
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表面 粗糙 度 感 知 的 研究 发 现 ， 听 触 双 通道 条 件 下 
的 粗糙 度 函 数 评估 曲线 几乎 与 触觉 单 通道 的 结果 
重合 ,并且 和 听觉 单 通道 的 结果 差异 显著 , 这 说 
明 一 旦 被 试 能 够 获得 触觉 线索 ,他 们 会 依赖 于 触 
觉 线索 来 感知 材料 表面 ， 而 几乎 不 使 用 听觉 线索 
来 判断 表面 的 粗糙 度 。Suzuki 等 人 (2006) 的 研究 
也 得 到 了 相似 的 结果 。 

然而 听觉 线索 对 于 粗糙 度 的 感知 并 非 没 有 影 
响 ， 正 如 Klatzky 和 Lederman (2010) 所 指出 ,伴随 
着 触觉 的 听觉 线索 对 知觉 起 到 了 重要 的 贡献 。 大 
量 前 人 研究 表明 ， 只 要 能 够 有 效 获得 听觉 线索 ( 即 
听觉 线索 不 被 环境 噪声 掩蔽 )， 人 类 对 于 粗糙 度 的 
感知 就 会 受到 听觉 线索 的 影响 (Etzi et al., 2018; 
Guest et al., 2002; Kim et al., 2007; Lederman, 
1979; Jousmaki & Hari，1998)。 而 在 听觉 线索 中 ， 
响 度 和 音调 /频率 是 影响 粗糙 度 知觉 多 通道 信息 
整合 的 主要 因素 。 例 如 Altinsoy (2008) 的 研究 发 现 
了 听觉 线索 响 度 对 于 粗糙 度 感 知 的 影响 。 他 将 实 
验 的 声音 响 度 提 高 了 10 分贝, 用 绝对 估计 法 探究 
被 试 在 三 种 通道 (听觉 、 触 觉 、 听 觉 + 触觉 ) 条 件 下 
的 粗糙 度 知觉 。 比 起 上 文中 Lederman (1979) 人 研究 
结果 中 触觉 单 通道 和 听 触 双 通 道 粗 烟 度 评估 函数 
曲线 几乎 完全 重合 的 情况 , Altinsoy (2008) 得 到 了 
触觉 单 通道 和 听 触 双 通道 差异 显著 的 结果 ， 这 说 
明 增 加 声音 的 响 度 ， 可 以 增加 听觉 在 听 触 整合 的 
粗糙 度 判 断 中 的 权重 。Peeva 等 人 (2004) 的 一 项 相 
关 性 研究 表明 ,被 试 将 不 同 的 纹理 和 声音 进行 匹 
配 时 ， 更 容易 将 响 度 更 大 的 声音 和 更 粗糙 的 表面 
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匹配 在 一 起 ， 同 时 他 还 发 现 ， 音 调和 粗糙 度 也 有 
着 强 相关 性 。Altinsoy (2004) 的 实验 也 证 实 了 音调 
和 粗糙 度 的 关联 : 被 试 能 够 准确 的 将 相同 频率 的 
振动 和 声音 线索 匹配 起 来 。 由 此 不 难得 出 ， 听 觉 
线索 中 的 响 度 和 频率 的 变化 是 引发 粗糙 度 知 觉 变 
化 的 重要 因素 。 下 文 将 对 这 两 个 因素 分 别 做 详细 
讨论 。 
41 WË 
较 小 的 摩擦 声 容 易 被 环境 噪声 所 掩蔽 ， 因 此 
人 类 难以 有 效 利用 声音 线索 来 判断 物体 的 表面 纹 
理 等 属性 (Lederman et al., 1999)。Lederman (1979) 
研究 了 在 三 种 通道 (听觉 单 通道 , 触觉 单 通道 ， 听 
触 双 通道 ) 条 件 下 被 试 对 于 铝板 表面 的 粗糙 度 感 
知 ， 其 中 听觉 线索 在 实验 人 员 录 制 好 后 向 被 试播 
放 。 当 被 试 使 用 更 大 的 力度 摩擦 铝板 时 ,会 知觉 
到 更 大 的 粗糙 度 。 显 然 在 触觉 单 通道 条 件 下 , 更 
大 的 摩擦 力 会 带 来 更 大 的 粗糙 感 (Lederman & 
Taylor, 1972)， 而 在 听觉 单 通道 条 件 下 ,， 则 是 因为 
大 力度 摩擦 提高 了 录制 声音 的 响 度 ， 才 使 得 粗糙 
度 的 评 佑 值 显著 上 升 。Lederman 等 人 (1999) 在 用 
刚性 探 针 探究 粗糙 度 知觉 的 研究 中 也 得 到 了 类 似 
的 结果 。 他 认为 这 是 由 于 摩擦 主体 从 手 变 成 刚性 
探 针 以 后 ,， 声音 的 响 度 变 大 了 , 才 使 得 被 试 感觉 
材料 表面 变 得 更 加 粗 烟 。 

除了 直接 增加 全 频 声音 的 响 度 可 以 使 得 被 试 
感觉 材料 变 得 更 加 粗糙 ,声音 中 特定 频率 成 分 的 
调制 也 能 对 粗糙 度 感知 产生 影响 。Jousmaki 和 
Hari (1998) 将 被 试 双手 摩擦 声音 的 响 度 进行 调制 
(2 kHz 以 上 的 高 频 成 分 或 是 全 频率 响 度 调 制 )， 在 
被 试 进行 实验 摩擦 双手 时 播放 这 种 调制 后 的 声 
音 。 全 频率 段 和 高 频段 的 响 度 增加 ， 被 试 都 产 9 
了 双手 变 得 更 加 粗糙 和 干燥 的 错觉 体验 ， 而 响 度 
减 小 , 被 试 则 知觉 手 部 变 得 光滑 和 湿润 ， 这 种 错 
觉 被 称 为 纸 皮 错觉 。Guest 等 人 (2002) 同 样 将 响 度 
调制 锁定 在 了 声音 的 2 kHz 以 上 的 高 频段 部 分 进 
行 了 相关 探究 ， 他 检测 了 被 试 通过 和 触觉 线索 和 调 
制 过 的 声音 线索 做 粗糙 度 匹配 任务 的 反应 时 间 和 


= 


mT 


Ti 


增加 ， 被 试 都 认为 牙刷 更 加 粗糙 并 带 来 不 适 感 。 
此 外 , Suzuki 等 人 (2006) 和 Kim 等 人 (2007) 还 对 声 
音 的 中 低频 成 分 进行 响 度 调制 的 实验 (前 者 是 对 
25 Hz 至 6.3 kHz， 后 者 是 对 300 至 600 Hz 频段 的 
调制 )， 结 果 同 样 表 明 声 音 的 响 度 调制 对 粗糙 度 知 
觉 造成 了 影响 。 

虽然 听 党 线索 的 响 度 提 高 确实 会 带 来 更 粗糙 
的 知觉 体验 , 声音 中 特定 的 频率 成 分 也 与 粗糙 度 
知觉 有 关 ， 特 别 是 高 频 成 分 的 响 度 调制 已 被 众多 
学 者 证 实 会 影响 粗糙 度 的 评估 ,但 是 对 于 频率 成 
分 与 粗糙 度 知 觉 的 研究 较 少 ， 频 段 响 度 和 粗糙 度 
知觉 的 关系 尚未 有 明确 定论 ， 因 此 仍 需 要 对 这 些 
频率 成 分 和 粗糙 度 知觉 的 关系 做 进一步 的 探究 。 
4.2 ”音调 /频率 

除了 响 度 这 一 特性 以 外 ,音调 也 被 发 现 和 粗 
糙 度 知觉 有 强 相 关 性 (Peeva et al., 2004). Eitan & 
Rothschild (2011) 探 究 了 A4, A5, AG (分 别 对 应 
220 Hz, 440 Hz, 880 Hz) 三 阶 音调 和 粗糙 度 的 关 
系 。 实 验 中 被 试 仅 获得 听觉 线索 ,并 评估 听觉 线 
索 的 粗糙 程度 。 结 果 表明 ,更 高 的 音调 意味 着 更 
粗糙 的 知觉 体验 ,更 低 的 音调 则 会 使 人 感觉 到 更 
光滑 。 音 调 主 要 是 由 声波 频率 决定 的 听觉 特性 ， 
声波 的 频率 不 同人 类 听 到 的 音调 高 低 也 不 同 。 
前 人 们 对 音调 和 粗糙 度 关 系 的 研究 相对 较 少 ， 有 
些 学 者 直接 调制 声音 的 频率 来 探究 这 一 特性 和 粗 
糙 度 的 关系 。Altinsoy (2008) 用 调制 频率 的 声音 做 
了 粗糙 度 评估 实验 ， 发现 了 趋势 相反 的 结 
Altinsoy (2008) 将 手指 滑动 挖 模板 材 的 槽 与 脊 摩 
擦 产生 的 振动 频率 定义 为 手 部 运动 速度 和 板材 物 
理 属性 的 函数 : 


f=vr/L 

TE: 式 中 f 是 振动 的 频率 ,v 是 手 部 运动 速度 ,r 是 
Be AAR L 是 板材 的 长 度 。 

通过 计算 机 模拟 出 各 种 不 同 频 率 (56 至 
112 Hz) 的 声波 作为 听觉 刺激 ,探究 频率 和 粗糙 度 
知觉 的 关系 。 实 验 发 现 即 使 触觉 材料 不 变 ， 当 声 
音 的 频率 变 高 时 ， 被 试 知觉 到 的 粗糙 度 显 著 降 低 


错误 率 ,结果 表明 被 试 更 倾向 于 将 响 度 更 大 的 声 
音 和 更 粗糙 的 表面 匹配 起 来 。 Zampini 等 人 (2003) 
在 一 项 关于 产品 体验 的 研究 中 也 对 声音 高 频 成 分 
的 调制 进行 了 探索 ,这 项 研究 调查 了 电动 牙刷 粗 
糙 度 和 愉悦 度 感知 是 否 会 受到 它 所 发 出 声音 的 影 
响 。 结 果 表 明 , 不 论 是 整体 响 度 或 是 高 频 音 响 度 


反之 则 显著 增高 。 

Van Egmond 等 人 (2009) 的 研究 则 给 频率 和 粗 
糙 度 知觉 的 关系 提供 了 另 一 种 可 能 : 实验 比较 了 
10 Hz, 50 Hz, 70 Hz, 200 Hz, 350 Hz 五 种 声音 对 
应 的 粗糙 度 知觉 ， 发 现 五 种 音频 对 应 的 粗糙 度 知 
觉 和 调制 频率 呈 近 似 倒 U 型 的 曲线 ,并 且 在 
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70 Hz 时 粗 燃 度 评估 值 达 到 峰值 ,这 个 现象 说 明 频 
率 和 粗糙 度 知觉 是 非 线性 的 关系 ( 据 此 推测 音调 


息 的 前 提 是 单 通道 信息 的 呈现 。 因 此 ， 有 必要 分 
别 探 明 视觉 、 听 觉 和 触觉 通道 信息 在 虚拟 现实 环 


也 是 如 此 ): 当选 择 频 率 与 粗糙 度 感受 函数 的 不 同 
单调 区 间 ， 将 会 得 到 相反 的 关系 变化 趋势 。 而 单 
调 区 间 具 体 如 何 分 区 ,由 于 Van Egmond 等 人 
(2009) 在 70 Hz 与 200 Hz 之 间 没 有 采集 频率 样本 
实验 条 件 中 70 Hz 之 后 是 否 粗糙 度 知觉 仍然 会 随 
着 频率 升 高 而 增 大 不 得 而 知 。 且 由 于 粗糙 度 知觉 
并 非 受 到 频率 单个 因素 的 影响 ,不同 实验 条 件 下 ， 
如 响 度 不同 的 声音 ， 是否 会 出 现 频率 和 粗糙 度 知 
觉 峰 值 的 变化 ， 也 仍然 需要 进一步 的 实证 探索 。 
此 外 ,对 音调 或 是 频率 进行 调制 还 存在 一 些 
应 该 注意 的 问题 。 首 先 , 频率 是 描述 听觉 信和 号 波 
周期 运动 频繁 度 的 物理 量 ， 它 和 触觉 振动 存在 的 
强大 映射 关系 是 科研 工作 中 对 其 调制 的 原因 所 在 
(Bosman, 2018), 但 目前 对 于 频率 调制 的 声音 多 
为 计算 机 合成 音 (Altinsoy，2008; Bosman, 2018; 
Van Egmond, 2009), 缺乏 自然 声 源 的 生态 性 。 其 
次 , 在 不 同 的 频率 下 ， 人 对 不 同 声 强 的 敏感 性 存 


境 和 现实 环境 的 呈现 存在 什么 差异 。 

视觉 信息 作为 目前 虚拟 现实 环境 中 最 主要 的 
言 息 来 源 ， 其 与 现实 环境 最 大 的 差异 主要 源 于 虚 
拟 视觉 的 泻 染 质量 的 高 低 。 虚 拟 现 实 环境 中 的 视 
觉 演 染 主 要 包括 阴影 柔和 度 ( 阴 影 边 缘 的 锐 度 )、 表 
面 平滑 度 、 纹 理 质量 、 几 何 形状 、 光 照 和 颜色 等 
因素 (Kapralos et al.，2017)。 兼 顾 上 述 泻 染 效果 ， 
虽然 可 以 为 用 户 带 来 最 好 的 虚拟 视觉 体验 ,但 是 
会 增加 演 染 成 本 ,增加 虚拟 设备 的 运载 负荷 。 而 
劣质 的 视觉 泻 染 则 会 影响 用 户 对 虚拟 现实 环境 的 
感知 (Malpica et al., 2020)。 更 为 高 效 且 节约 成 本 
的 方法 应 是 先 确定 任务 场景 ， 再 于 虚拟 现实 环境 
中 找到 满足 用 户 对 其 认 知 需求 的 最 小 泻 染 参 数 。 

在 听觉 层面 ， 虚 拟 现实 环境 中 音频 的 实时 性 
是 弱 于 现实 环境 的 。 人 类 与 环境 交互 (在 此 专门 指 
触觉 交互 ) 发 出 声音 ， 交 互 方式 、 力 度 和 速度 的 变 
化 都 会 引发 声音 的 改变 。 例 如 ， 敲 击 和 摩擦 的 声 


在 差异 。 前 人 对 于 等 响 曲 线 的 研究 很 好 的 说 明 I 
声 强 和 频率 这 两 个 物理 量 都 是 心理 量 响 度 的 影 
因素 ， 因此, 在 解释 粗糙 度 知 觉 中 听觉 影响 因素 
时 ， 应 该 注意 更 好 地 区 分 这 几 个 概念 。 最 后 ， 白 噪 
声 和 听觉 适应 会 提高 触觉 对 粗糙 度 感 知 的 差别 阔 
限 ， 降 低 触觉 对 粗糙 度 和 振动 的 感受 性 (Crommett 
et al., 2017; Suzuki et al., 2008)， 因 此 在 分 析 听 和 触 
觉 双 通道 条 件 的 实验 结果 时 ,应 考虑 到 环境 噪声 


的 影响 。 
5 总 结 和 展望 


本 文 以 粗糙 度 知觉 为 切入 点 ,关注 在 虚拟 触 
觉 设 备 存在 诸多 局 限 性 的 当下 ,如 何 通过 视 、 听 
感觉 通道 信息 来 辅助 提升 虚拟 现实 中 的 触觉 体 
给。 首先 从 感知 觉 信息 加 工 的 角度 分 析 粗 糙 度 知 
觉 的 形成 ， 论 证 得 出 在 粗糙 度 知觉 的 多 感觉 通道 
整合 中 视觉 和 听觉 信息 的 重要 性 。 继 而 进一步 探 


=p 
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音 显然 不 同 , 力度 影响 音频 响 度 ， 速 度 影响 音频 
频率 (Lederman, 1979)。 在 现实 环境 中 , 依据 交互 
属性 的 不 同 ， 人 类 可 以 即时 获得 不 同 的 听觉 信 
息 。 但 在 虚拟 现实 环境 中 , 想 要 依照 人 类 的 交互 
变化 即时 呈现 不 同 的 听觉 信息 是 有 困难 的 ， 极 易 
出 现 交 互 属性 和 听觉 信息 不 匹配 的 现象 。 这 种 不 
匹配 不 仅 破 坏人 类 在 虚拟 现实 环境 中 的 沉浸 感 ， 
也 有 可 能 影响 人 类 对 于 交互 材料 的 感知 。 然 而 交 
互 属性 和 听觉 信息 的 完全 匹配 成 本 过 高 ， 且 依赖 
定位 识别 技术 的 高 度 发 展 。 因 此 , 将 不 匹配 的 差 
值 控 制 在 人 类 的 感知 国 值 之 下 或 许 是 个 好 的 解决 
办 法 。 在 未 来 的 科研 探究 中 ， 探 明 交 互 属 性 同 听 
觉 信 息 跨 模 态 匹配 的 差别 浆 限 ， 亦 能 为 今后 物理 
技术 的 发 展 提供 人 因 学 的 依据 。 

目前 ， 虚 拟 现实 环境 中 的 触觉 设备 只 能 提供 
较为 单一 且 精 度 低 的 触觉 感受 。 现 在 的 技术 只 能 
同时 为 用 户 提 供 一 至 两 种 维度 的 触觉 感受 ， 而 现 


讨 和 分 类 了 视觉 和 听觉 中 会 影响 粗糙 度 感知 的 因 
A, 并 总 结 了 当下 对 这 些 因 素 的 操纵 方法 ， 以 期 
在 缺乏 良好 触觉 反馈 的 虚拟 现实 环境 中 ， 利 用 视 
觉 和 听觉 信息 ,改善 人 们 对 于 材料 表面 粗糙 度 的 
感知 。 在 探索 和 实践 中 , 仍 有 一 些 问题 值得 进 一 
步 讨 论 。 

首先 , 在 虚拟 现实 环境 中 呈现 多 感觉 通道 信 


实 环境 中 人 类 则 可 以 同时 获得 粗糙 度 、 温 度 、 硬 
度 等 多 维度 触觉 体验 。 虽 然 前 人 已 经 广泛 测量 了 
单一 触觉 维度 的 绝对 和 差别 闷 限 , 但 当 多 维度 的 
触觉 信息 同时 呈现 时 ， 绝 对 和 差别 靖 限 将 会 产生 
的 变化 还 有 待 探究 (Wang et al., 2020)。 此 外 ， 即 使 
在 某 一 限定 的 触觉 维度 内 ,物理 设备 的 反馈 精度 
也 远 不 及 人 类 触觉 感受 器 的 精度 。 因 此 ， 在 未 来 
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触觉 设备 研发 过 程 中 ,不 仅 要 攻克 多 维度 触觉 信 
息 呈 现 的 技术 难题 ， 还 要 使 得 触觉 设备 提供 信息 
的 精确 度 更 接近 人 类 触觉 感知 的 精确 度 (Culbertson 
et al., 2018; Wang et al., 2020)。 


性 。 然 而 ,在 视听 触 三 个 通道 如 何 协同 工作 ， 如 何 
为 整体 感知 做 出 不 同 贡 献 等 问题 上 ， 几 乎 还 没有 
这 方面 的 研究 (Collins & Kapralos, 2019)。 但 正如 
我 们 所 强调 的 ， 人 类 对 于 粗糙 度 的 感知 是 一 个 多 


其 次 ,在 虚拟 现实 环境 中 , 单 通道 的 感觉 信 
息 呈 现存 在 不 同 程度 的 偏差 ， 一 方面 ， 发 展 先进 
的 技术 可 以 泻 染 和 呈现 更 和 逼真 的 感觉 信息 ; 另 一 
方面 ,可否 利 用 知觉 加 工 规律 ， 有 侧重 地 、 适 时 地 
提供 和 当下 感知 场景 或 任务 更 适 配 的 感觉 刺激 信 
息 呢 ? 例如 : 人 类 在 空间 分 辨 任务 中 更 依赖 视觉 
言 息 ， 在 时 间 分 辨 任务 中 更 依赖 听觉 信息 ,在 精 
细 操 作 的 交互 任务 中 更 依赖 触觉 信息 。 因 此 ， 站 
在 应 用 实用 性 的 角度 来 说 ,在 不 同 的 任务 需求 里 
提供 足够 的 、 适 用 的 信息 , 使 被 试 的 操作 绩效 达 
标 且 获得 较 好 的 用 户 体验 才 是 关键 ,正如 Malpica 
等 人 (2020) 在 虚拟 现实 环境 中 材料 辨别 实验 的 结 
R: 即使 弱化 视觉 泻 染 效果 ,被 试 依然 能 凭借 听 
觉 线索 有 效 感 知 和 辨别 不 同 质地 的 实验 材料 。 
此 ,， 若 虚拟 现实 环境 中 的 触觉 设备 不 足以 提供 可 
辨别 的 粗糙 质感 ， 将 听觉 信息 或 视觉 信息 辅助 触 
觉 信 息 来 提供 更 好 的 粗糙 质感 也 是 值得 探究 的 方向 。 

第 三 ,还 应 该 考虑 : 虚拟 现实 环境 中 单 通道 
的 视 、 听 、 触觉 信息 和 现实 环境 中 存在 的 差异 , 很 
可 能 导致 不 同 通道 间 信 息 的 不 匹配 。 那 么 人 类 将 
如 何 整合 原本 存在 差异 、 并 且 彼 此 间 不 尽 匹 配 的 
多 通道 感觉 信息 呢 ? 这 一 过 程 势必 进一步 加 剧 虚 
拟 和 现实 感知 觉 信息 加 工 的 不 同 ， 带 来 新 的 问 
题 。Ernst 和 Banks (2002) 认 为 在 多 通道 信息 整合 
的 过 程 中 , 信息 更 为 可 靠 的 通道 将 占据 更 多 的 权 
重 。 而 本 文 在 上 述 讨论 中 已 经 确定 ， 虚 拟 现实 环 
境 下 各 个 感觉 通道 的 信息 均 和 现实 中 原本 感觉 通 
道 的 信息 存在 差异 : 纹理 质量 的 弱化 ,听觉 信息 
和 交互 行为 的 不 匹配 ， 和 触觉 感受 的 单一 。 这 些 差 
异 使 得 各 通道 信息 都 不 那么 < 可靠” 那 人 类 在 虚 
拟 现 实 环 境 中 会 更 依赖 哪个 通道 呢 ? 虚拟 现实 环 
境 中 的 多 通道 信息 整合 的 权重 分 配 ， 究 竟 和 现实 
环境 中 的 这 一 过 程 有 多 大 差别 ? 对 于 这 类 问题 的 
探究 , 不 仅 有 助 于 理解 虚拟 信息 和 现实 环境 在 感 
知 上 的 差异 , 还 将 有 助 于 定向 优化 人 类 在 虚拟 现 
实 环境 中 失真 的 那 部 分 感觉 信息 。 

最 后 ， 总 览 前 人 所 做 的 工作 ,这 些 研 究 大 多 
从 视觉 、 听 觉 、 触 觉 单 通道 , 或 是 双 通 道 的 角度 
探究 了 相关 感觉 信息 对 人 类 感知 粗糙 度 的 可 用 


通道 信息 整合 的 过 程 ， 并 且 为 人 类 呈现 多 通道 的 
信息 有 诸多 益处 。 在 现实 环境 中 ， 多 通道 输入 为 
人 类 提供 的 宛 余 信息 有 助 其 降低 认 知 负荷 
(Marucci et al., 2021)， 提 高 任务 绩效 (Hecht et al., 
2008); 在 虚拟 现实 环境 中 ， 相 较 于 单 通道 信息 ， 
多 通道 的 信息 反馈 不 仅 使 被 试 绩效 最 好 ， 还 能 提 
供给 被 试 更 强烈 的 存在 感 和 沉浸 感 (Bosman, 2018; 
Cooper et al., 2018; Marucci et al., 2021)。 因此 , 在 
虚拟 现实 环境 中 的 材料 感知 任务 中 ， 相 较 于 只 呈 
现 单 通道 或 二 通道 的 信息 ,呈现 三 通道 信息 ( 视 
觉 、 听 觉 、 触 觉 ) 是 否 能 有 效 提高 被 试 对 材料 的 识 
别 绩效 (识别 速度 、 WIERK), 是否 能 让 被 试 获 
得 更 好 的 虚拟 现实 体验 (沉浸 感 . 存 在 感 )? 三 通道 
条 件 下 , 各 个 通道 如 何 整合 完成 整体 粗糙 度 感 知 ， 
各 通道 在 整体 感知 中 分 别 占 有 多 少 权 重 ? 这 些 问 
题 有 待 进一步 的 探究 。 随 着 我 们 在 这 一 研究 领域 
内 的 不 断 探 索 ， 在 未 来 ， 视 觉 .听觉 信息 可 能 会 以 
超出 常识 的 方式 , 极 大 的 丰富 人 们 在 虚拟 现实 环 
境 中 的 体验 (Collins & Kapralos, 2019)。 
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The vivid tactile experience from vision and auditory: 
Clues from multisensory channel integration 


WAN Bicheng, YANG Zheng, LI Hongting, MA Shu 
(Psychology Department, Zhejiang Sci-Tech University, Hangzhou 310018, China) 


Abstract: Virtual reality creates an immersive experience for users by providing visual, auditory, and tactile 
information. However, tactile feedback still faces many technical bottlenecks, which limit natural 
interaction in the virtual reality environment. Pseudo-haptic technology based on multi-sensory illusion can 
enhance and enrich tactile perception with the help of information from other channels, which is one of the 
effective ways to optimize tactile perception in the virtual reality environment. In order to explore the 
problem in a more targeted way, the study focuses on roughness perception among different dimensions of 
tactile perception. We discuss the multi-sensory channel integration of visual, auditory, and tactile in 
roughness perception, then analyze how the visual cues (density of surface texture, light and shadow, control 
display rate) and auditory cues (pitch/frequency, loudness) affect roughness perception, moreover, 
summarize the methods of changing roughness perception by manipulating these cues. Finally, we discuss 
the differences of visual, auditory, and tactile information between virtual reality environment and real- 
world in representation and perceptual integration when using pseudo-haptic feedback technology, 
proposing practical solutions and future research directions to improve the tactile experience. 


Key words: roughness perception, multi-sensory channel integration, visual cues, auditory cues 


